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Введение 


Возрастание сложности задач управления, решаемых в реальном времени, 
предъявляет все более высокие требования к производительности и надежности 
вычислительных систем. 

Продолжительность решения задач во многом определяется возможностью 
распараллеливания процессов с целью максимальной загрузки вычислительных 
средств. Для разработки параллельных программ, кроме языков параллельного 
программирования (Ада, Лауа и др.), находят применение различные расширения 
последовательных языков (например, шрС, С-ОУМ, НРЕ, Еонгап-БУМ), а также 
библиотеки параллельного программирования (ОрепМР, МР, РУМ и др). 

Большинство известных технологий программирования относятся к средствам 
статического распараллеливания вычислений. Основные задачи распараллеливания 
в этом случае решаются программистом на этапе разработки программ. Статическое 
распараллеливание может выполняться автоматически с помощью специальных 
компиляторов, хотя их возможности весьма ограничены. 

Один из недостатков средств статического распараллеливания состоит в том, 
что при анализе алгоритмов не всегда удается выявить параллельные ветви. Это 
обусловлено целым рядом причин, к основным из которых можно отнести 
недостаток информации о динамике процессов. 

Перспективным подходом, позволяющим устранить ряд недостатков 
статического планирования и упростить подготовку параллельных вычислений, 
является разработка средства динамического распараллеливания вычислений. 
Распределение работ между вычислительными узлами в этом случае осуществляется 
системой автоматически в процессе решения задач. Реализация данного подхода 
позволяет выявить параллельные ветви, которые возникают непосредственно в 
процессе вычислений. 

С целью уменьшения затрат времени на динамическое распределение операций 
при реализации мелкозернистых алгоритмов были предложены модели вычислений под 
управлением потоков данных (например, [1,2]). Однако с увеличением зернистости 
алгоритмов существенно возрастают объемы пересылаемых данных, что снижает 
эффективность такой модели вычислений. Уменьшение непроизводительных затрат 
времени в указанном случае является важной задачей повышения эффективности 
параллельных систем. 

Для систем управления в реальном времени надежность систем и 
достоверность результатов вычислений является одной из важнейших 
характеристик. Достоверность получаемой информации определяется соответствием 
полученных результатов (возможно с ошибками) истинным, то есть полученным без 
ошибок. Под надежностью системы понимается ее свойство выполнять свои 
функции, сохраняя во времени значения установленных эксплуатационных 
показателей в заданных пределах. Количественная оценка надежности связана с 
понятием отказа. Отказом в системе считается уход хотя бы одного параметра за 
пределы, заданные техническими условиями. Такими параметрами могут быть, 
например, производительность, объем памяти и т. д. Соответственно наработка на 
отказ трактуется как наработка на спад параметра ниже заданного уровня. 

Один из эффективных подходов к решению проблемы повышения надежности 
систем состоит в обеспечении отказоустойчивости путем введения различного рода 
избыточности (аппаратурной, информационной и временной). Последствия отказов 
при наличии резервного оборудования могут быть устранены заменой отказавшего 
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узла. Соответственно повышается наработка на отказ. В процессе функцио- 
нирования таких систем необходимо обеспечить контроль и диагностику отказов, 
реконфигурацию и восстановление функций системы. 

Программные способы восстановления систем при локализации отказов 
используют сложные процедуры голосования процессоров с многократным 
обращением к памяти [3]. Это требует больших временных затрат и может оказаться 
неприемлемым для систем реального времени, на время обработки информации в 
которых накладываются ограничения со стороны внешних факторов. В связи с этим 
важной задачей является уменьшение времени восстановления систем. 

Обобщая результаты исследований [4-7], в данной работе показана 
возможность повышения эффективности потоковых вычислений в модульных 
мультипроцессорных системах при реализации крупнозернистого параллелизма, а 
также ускорения восстановления систем при отказе процессоров. 


Характеристика модульной мультипроцессорной системы 


Задачи ускорения вычислений и повышения надежности систем могут быть 
совместно решены применением мультипроцессорных систем на однотипных 
процессорных модулях (ПМ). В этом случае имеется потенциальная возможность 
ускорения преобразования информации путем увеличения количества ПМ, 
работающих параллельно. В свою очередь, наличие однотипных ПМ позволяет 
использовать наиболее экономичное скользящее резервирование аппаратуры, 
необходимое для обеспечения отказоустойчивости систем. 

Для конкретности будем рассматривать мультипроцессорную систему с общей 
шиной (общей системной магистралью). В процессе функционирования системы 
один из ПМ выполняет функцию управляющего (УПМ), а остальные являются 
подчиненными (ППМ). Каждый ПМ содержит собственно процессор и локальную 
память, которые связаны через локальную шину. В состав интерфейса, связывающего 
ПМ с системной шиной, входят распределенные аппаратные средства реконфигурации, 
позволяющие уменьшить расход команд при восстановлении системы в случае отказа 
процессорных модулей. Арбитраж при обращении к общему адресному пространству 
осуществляется автоматически на аппаратном уровне. Благодаря локальной памяти 
процессоры могут выполнять свои программы независимо друг от друга, то есть 
осуществлять параллельную обработку информации. Кроме обращения к общей памяти, 
каждый ПМ имеет доступ к части локальной памяти других ИМ. УПМ может 
воздействовать на ППМ (подключать, отключать от общей системной шины, запускать 
выполнение программ и т.д.) с помощью команд, записываемых в специальный 
командный регистр (КР), адрес которого принадлежит к части локальной памяти с 
доступом со стороны системной шины. 

Концепция параллельных вычислений, управляемых потоком дескрипторов 
данных и заданий. 

В основу метода положены следующие теоретические положения. 

Вычислительный процесс представляется с помощью графа, каждой вершине 
которого соответствует задание (функция преобразования данных, определенный 
объем работы), а каждой дуге — поток данных, необходимых для выполнения 
задания. Исходные данные для каждой задачи подготавливаются на основании графа 
и представляют собой набор дескрипторов заданий и данных. Дескрипторы 
формируются без учета числа процессоров в системе. 
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Функции, соответствующие вершинам графа, являются независимыми и 
взаимо-действуют только через данные. Для решения задач разрабатывается 
библиотека реализации функций. В качестве компонентов библиотеки могут 
использоваться программные модули, функционирующие в заданной операционной 
среде и позволя-ющие осуществить необходимое для решения задачи 
преобразование данных. 

Задание для 1-й вершины графа описывается дескриптором задания 


И’. = №,1,Р.,О.} 


где №, — уникальное имя данного дескриптора; /,— идентификатор задания 
(определяет функцию преобразования данных); Р={р;} — множество имен выходных 
данных (соответствуют дугам, выходящим из 1-й вершины и входящим в /-ю 
вершину); О, — суммарное число входных потоков данных для Г-го задания (число 
дуг графа, входящих в 1-ю вершину). 


Имя потока выходных данных Ру может быть представлено кортежем 
в (М»ьпу, ,) 


где и; — имя входа /-й вершины графа, соответствующего дуге О. 
Поток данных, соответствующий дуге графа, соединяющей /-ю вершину с /-Й 
вершиной, характеризуется дескриптором данных 


Р;= №№," ‚О, А, 


где Ах — элемент адресации данных, определяющий расположение данных в памяти 
системы. 

Из элементов дескрипторов в соответствии с определенной процедурой ЕР 
формируются заявки на выполнение 1-го задания 


ЕК’, 0.) > 7; ={Т, Р„АД, 


где А; ={А;] Е} — множество элементов адресации данных для Г-го задания; 
р={О;7Е.Л} — множество дескрипторов данных для задания И’; /— множество имен 
вершин графа, связанных выходящими дугами с 1-й вершиной. 

Для формирования заявок Й; используется УПМ. Сложность формирования 
заявок состоит в том, что данные для {1-го задания формируются в разные моменты 
времени и, кроме того, возможно разными ППМ. 

Учитывая уникальность имен Л; дескрипторов для каждого задания, условие 
активизации (готовности) задания можно также представить в виде 


1, если С, =О,;; 
@, = 
0, если С. =О,, 
где С; — число принятых для формирования заявки дескрипторов с именем М. 


УПМ создает таблицу (массив объектов) в общей памяти, 1-я строка 5; которой 
имеет вид 


№:5,= (Т,,Рь АьЁьС,О,), 
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где № — имя строки; С; —счетчик дескрипторов, Ё={0;:} — признаки наличия 
поступивших дескрипторов данных. Число признаков в строке 5; равно числу 
входных потоков данных ();. 

При поступлении дескрипторов заданий в соответствующие позиции строк 
таблицы вводятся значения Г и Р;. При поступлении дескрипторов данных в 
соответствующие позиции строк записываются элементы множества А; и 
соответствующие им признаки д,. Позиция элементов адресации определяется 
значениями и;, присутствующими в дескрипторах заданий. 

Полное накопление множества А; элементов адресации данных для задания 
определяется с помощью счетчика С; При поступлении любого дескриптора 
сравниваются значения (0; и С, затем С; увеличивается на единицу. Равенство 
указанных значений является условием @; активизации заявки. 

Свободные ПМ сами обращаются за заявками. После выполнения задания 
УПМ возвращает полученный дескриптор данных, который принимает участие при 
формировании новой заявки. При этом обнуляется счетчик С‚, то есть система готова 
для повторного формирования заявки с данным именем, если это необходимо. 

В системе одновременно могут решаться несколько задач. Для этого 
достаточно, чтобы множества имен дескрипторов для разных задач не пересекались. 
На стадии формирования заявок между модулями пересылаются только короткие 
сообщения (дескрипторы). Потоки непосредственно данных перемещаются только 
на этапе выполнения заданий. В этом случае вычислительным процессом управляют 
стандартные средства операционной системы. 


Исправление ошибок, вызванных отказом процессоров 


Поскольку подготовка задач в соответствии с рассматриваемым методом 
осуществляется без учета числа ПМ, то появляется потенциальная возможность 
продолжения вычислений при отказе процессоров до тех пор, пока в системе 
останется хотя бы один исправный ПМ. В последнем случае ПМ, конечно, должен 
выполнять функции управляющего и подчиненного. Кроме этого, система может 
иметь на общей шине резервные модули (РПМ), которыми могут заменяться 
отказавшие модули. 

Рассмотрим реализацию указанной возможности при однократном отказе ПИМ 
(по крайней мере, на продолжении цикла восстановления системы). 

Общую память можно защитить аппаратурными методами повышения 
надежнос-ти, которые достаточно хорошо разработаны. Устранение последствий 
отказов ПМ может быть возложено на УПМ. В случае отказа ПИМ во время 
выполнения задания УПМ должен обеспечить инициализацию повторного 
выполнения задания в работоспособном ПМ. Следует учитывать, что до отказа ППМ 
часть дескрипторов данных могла быть передана в УПМ. В этом случае повторное 
выполнение задания продублирует уже полученные дескрипторы, что приведет к 
неправильной модификации счетчиков С; в некоторых строках таблицы формирования 
заявок, то есть к ошибке вычислений. 

Для обеспечения отказоустойчивости ПМ должны обеспечивать ряд 
специальных функций. 

Специальные функции в режиме ППМ. В процессе выполнения задания ПИМ 
возврашает УПМ в общем случае несколько дескрипторов данных В» согласно 
числу элементов в множестве Р1. После успешного завершения задания ППМ должен 
переслать УПМ признак Ё; окончания задания. 
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Специальные функции в режиме УПМ. Данный модуль должен выявлять факт 
неисправности ППМ и формировать маску для повторного выполнения задания. 
Заявка снабжается маской М,, которая формируется процедурой 


С(Р, ди |теЕК) > М={ 6, }, 


где К -— множество имен вершин графа, связанных входящими дугами с Ей 
вершиной. 

Разряды маски определяют, какие выходные потоки данных необходимо 
формировать при повторном выполнении заданий. 

Механизм исправления ошибки заключается в следующем. После 
формирования очередной заявки 7; ее имя М; заносится в список имен готовых 
заявок (СГЗ). Заявки выполняются ППМ только из числа указанных в списке СГЗ. 

Имя выбранной для выполнения заявки передается из СГЗ в список имен 
выполняемых заявок (СВЗ). При поступлении признака ЕЁ; заявка #; считается 
выполненной, при этом ее имя удаляется из СВЗ. 

При решении задачи пустой СГЗ может указывать на различные ситуации в 
системе. Первая ситуация заключается в том, что выполнение заявок в ПИМ не 
закончено и дескрипторы данных для формирования очередных заявок еще не 
поступили, но будут получены через определенный промежуток времени. Вторая 
ситуация связана с отказом ППМ. В этом случае вычислительный процесс не может 
продолжаться. 

Возможным подходом к распознаванию указанных вариантов может служить 
длительность интервала ожидания поступления дескрипторов из ПМ. Для этого 
можно использовать таймер, запрограммированный на интервал времени 
срабатывания, длительность которого связана с максимальным временем 
выполнения заданий. 

Если после срабатывания таймера дескриптор данных не поступил, то 
произошел отказ ППМ, то есть необходимо повторное выполнение задания, которое 
формирует ожидаемый дескриптор данных. 

Имя задания, которое не завершено, в данном случае находится в СВЗ. Для 
повторного выполнения задания достаточно переписать его имя из СВЗ в СГЗ. 
Заявка поступит на повторное выполнение с модифицированной маской, в 
соответствии с которой в ППМ будут формироваться только те данные, которые 
ранее не были получены. 


Метод программно-аппаратной реконфигурации систем 


Можно выделить три вида резервирования: поэлементное, общее и скользящее. 
Для систем с общей магистралью, построенных на однотипных процессорных 
модулях естественным является скользящее резервирование. Это объясняется не 
только универсальностью резерва (все модули одинаковы), но и возможностью 
подключения резерва в любую точку общей шины. Замена модуля не требует 
включения резервного модуля именно в то место шины, где находился отказавший 
модуль. 

Для обеспечения однотипности модулей и, следовательно, простоты масшта- 
бирования целесообразно использовать аппаратные средства реконфигурации, 
которые распределены между процессорными модулями системы. В этом случае 
сохраняются основные преимущества модульных систем. 
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Выбор эффективного способа резервирования сопряжен с рядом трудностей, 
лежащих в области разработки процедур диагностирования, локализации и 
восстановления системы, которые бы минимально усложняли программы и вносили бы 
минимальное запаздывание в цикл управления. 

Рассмотрим метод контроля и реконфигурации систем, который обладает 
следующими свойствами: 

- вносит минимальную информационную избыточность (минимально усложняет 
программные средства); 

- обеспечивает голосование и отключение неисправных модулей с использованием 
аппаратных средств для уменьшения расхода команд; 

- автоматически производится реконфигурация системы (вместо отказавшего 
модуля вводится резервный); 

- позволяет использовать любое число резервных модулей без усложнения схемы 
реконфигурации. 

Метод базируется на контроле временных интервалов и событий. Выбор 
необходимых временных интервалов определяется режимом работы системы. 
Управление процессами (объектами) в реальном времени может быть реализовано в виде 
повторяющихся циклов. В каждом цикле управления вводится информация о состоянии 
процесса, затем осуществляется преобразование информации с целью определения 
необходимого воздействия на управляемый процесс. Полученные результаты 
используются для изменения параметров управления. На основании длительности цикла 
определяются необходимые временные интервалы для таймеров УПМ и ППМ. 

Между  процессорными модулями распределены аппаратные средства, 
предназначенные для ускорения процесса реконфигурации системы при отказе 
процессоров. Они представляют эстафетную цепочку передачи сигнала назначения 
нового УПМ при отказе текущего. Соответствующие логические цепи между соседними 
модулями показаны на рис. 1. В табл. 1 поясняются назначения некоторых разрядов КР, в 
том числе, которые используются при реконфигурации системы. 

При инициализации системы первый ПМ назначается в качестве УПМ. Далее по 
цепочке могут располагаться РИМ, предварительно отключенные от общей шины. За 
ними располагаются ППМ, готовые к работе. 


Таблица 1. Назначение разрядов командного регистра 


Доступ со 
Наименование Доступ со ы 
Обозначение к стороны системной 
разряда стороны локальной ШИНЫ 
ШИНЫ 
Готовность ПИМ ГП Чтение / Запись Чтение 
Запуск программы ПМ ЗП Чтение / Запись Чтение / Запись 
Отключение ПИМ ОП = Запись 
Отключение УПМ ОУ _ в 
Неисправность ПИМ НИ = _ 
Неисправность УПМ НУ Запись = 
Признак УПМ ПУ Чтение = 
Подключение РИМ ПР — Запись 
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Схема голосования 


' 
7-е звено 


Рис. 1. Организация распределенных средств голосования процессоров 


Работоспособность УПМ проверяется совместным голосованием работо- 
способных ППМ. Стратегия голосования выбирается, исходя из необходимого 
минимального числа работоспособных процессоров, которые, с учетом деградации 
системы, могут обеспечить решение поставленной задачи. Если система может 
выполнять свои функции при наличии © из п ППМ (е<и), то УПМ считается 
неисправным, если за его отключение проголосуют © или более процессорных модулей. 
В соответствии со значением © настраивается схема голосования, функции которой 
может выполнять пороговый элемент. 

Один из простых алгоритмов работы системы состоит в следующем. В начале 
каждого цикла УПМ запускает все ППМ (сигнал ЗП в табл. 1) в широковещательном 
режиме, проверяя предварительно их готовность (сигнал ГП). Затем выполняет свою 
программу. ПИМ запускают свой таймер и начинают выполнять свою программу, после 
выполнения которой устанавливают разряд ГП в КР и ожидают срабатывания своего 
таймера. Если при срабатывании таймера отсутствует сигнал ЗП, то ПИМ голосует за 
отключение УПМ. Отключенные ПМ в голосовании участия не принимают. При наличии 
не менее 2 голосов эстафетная цепочка передает функции УПМ следующему по цепочке 
ПМ, который активизируется для работы в качестве УПМ. Каждое 1-е звено эстафетной 
цепочки формирует выходной сигнал ПУ», в соответствии с переключательной 
функцией ПУ! = ПУ; & НП. Если 1-й процессор неисправен, то сигнал передается далее 
по цепочке и, кроме того, поступает на вход разряда ПУ регистра команд (1+1)-го 
процессора. 

Работоспособность ПИМ контролируется со стороны УПМ. Простой алгоритм 
контроля также связан со срабатыванием таймера в УПМ. Таймер запускается на время 
гарантированного выполнения программ в ПМ. По срабатыванию таймера УПМ 
проверяет в КР ПМ разряд ГП. При отсутствии признака ГИ соответствующий ПИМ 
отключается от системной шины, а вместо него подключается и запускается РИМ. 

Процессоры затрачивают на взаимный контроль и голосование всего несколько 
команд на протяжении цикла управления. Если в цикле управления у процессоров 
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имеется оперативный запас времени, то они могут для контроля выполнять тестовую 
программу. Это позволяет повысить достоверность вычислений. 

Рассмотренный программно-аппаратный метод реконфигурации позволяет по 
сравнению с программными методами, требующими при голосовании многократного 
обращения процессоров к общей памяти, ускорить процесс реконфигурации систем. 


Заключение 


Предложенный метод реализации вычислений в мультипроцессорных системах 
позволяет устранить ряд проблем, связанных с традиционным планированием вычис- 
лений. Существенно упрощается процесс подготовки задачи, поскольку нет необхо- 
димости на основе статического анализа выявлять параллельные процессы и заниматься 
их синхронизацией. 

Подготовка задач не зависит от числа процессорных модулей в системе. Благодаря 
этому реконфигурация системы не приводит к необходимости повторной подготовки 
задач, что создает потенциальную возможность продолжать вычисления при отказе 
процессоров. 

Система может работать в многопрограммном режиме, для чего не требуется 
обязательная регистрация всех задач перед началом счета. Начинать решение новой 
задачи можно в любой момент времени, независимо от состояния других задач. При этом 
благодаря управлению вычислениями со стороны потоков данных возможна реализация 
скрытого параллелизма задач, который трудно выявить на этапе статического анализа. 

Исправление ошибок, связанных с отказом процессоров, осуществляется 
автоматически. Для этого достаточно на этапе разработки библиотеки функций 
предусмотреть возврат результатов согласно значению разрядов маски. 

За счет применения аппаратных средств голосования и реконфигурации 
уменьшается расход команд при восстановлении системы. Все это позволяет уменьшить 
непроизводительные затраты времени, что создает предпосылки для ускорения 
вычислений, то есть повышения эффективности применения мультипроцессорных 
систем. 
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зВо\ги. ТЬ1$ зауше оЁ Ите 1$ астеуеа Бу теап$ ог 4упапис фазК 415лБаноп Бебмееп 
ргосеззогз, Чесгеазе оР диап у оЁ Чапзпие шЮюгтаноп, аз ме аз парПсИ рагаЙей$т 
геаПтайоп. ТВе ргосез$ оЁ{азК ргераганоп 1$ зпарПНе4 аз 1 1$ по! песеззагу 0 1аке шю 
ассоии ‘а5К реоппапсе Яте, 10 |ооК Гог рагаПе| БгапсВез оп Фе Базе оЁ “айс апа[у$1$, 
40 зупебготие ргосеззез. 
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тефо4 ог ащютайс сотесйоп оЁ еггогз арреаге4 Бесаизе оЁ 1азК ргосеззше п\еггарноп 15 
ргорозеа. ина» пехё дезспрюг зепеганоп г п\цеггареа ‘азК5 фе да \/шмсВ \уеге гесетуе4 
БеЮге ипи РаШоге апа 40 поё пее4 ю Бе сепегае4 агат 15 4дейпеа Бу теап$ оРттазКз. 

ТБеге 15 ргорозе4 а Ваг4\уаге ап зоЙу\угаге те!о4 оЁ зузет гесопйзиганоп ис 
регтиз тю зпоцеп Ше |151 оЁР шзвгасНоп$ песеззагу ог зузет гесоуегу ш сотраг1з0п УИ 
Фе зоЁ\аге тевоч. Еог 15 ригрозе еге 15 изе Баг4\уаге сисийгу 41516 щед Бебмееп 
ргосеззог$ ог уойп? ап4 гесопйгиганоп. АП Фезе теапз десгеазе поп-ргодисНуе ите 
сопзитрноп апа ЙегеРоге зВоцеп 1азК гезооп @те. 


В.И.Жабин 
Повышение эффективности параллельной обработки данных и обеспечение 
отказоустойчивости мультипроцессорных вычислительных систем реального 
времени 

Рассматривается — задача повышения эффективности реализации 
крупнозернистого параллелизма в мультипроцессорных системах, построенных на 
однотипных процессорных модулях Показана возможность сокращения времени 
решения задач за счет использавания модели вычислений под управлением 
дескрипторов Данных. Это достигается путем динамического распределения 
заданий между процессорными модулями, сокращения пересылаемых объемов 
информации, а также реализации скрытого параллелизма задач. Упрощается процесс 
подготовки задачи, поскольку нет необходимости учитывать длительность 
выполнения заданий, выявлять параллельные ветви на основе статического анализа, 
заниматься вопросом синхронизации процессов. 
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Модель управления вычислениями со стороны потока дескрипторов данных не 
требует при подготовке данных для обработки учета числа процессоров в системе. 
Данные подготавливаются только на основе потокового графа задачи. Это создает 
потенциальную возможность продолжать вычисления при отказе процессоров, если 
работоспособные процессоры в системе остаются. Предложен метод автома- 
тического исправления ошибок, которые могут возникать из-за возможного 
прерывания выполнения заданий. При повторном формировании дескрипторов для 
прерваных заданий с помощью масок указывается, какие данные были получены до 
отказа процессорного модуля и не требуют повторного формирования. 

Предложен программно-аппаратный метод реконфигурации систем, позволяющий 
сократить расход команд по сравнению с программным методом при восстановлении 
работоспособности систем. Для этого используются распределенные между процес- 
сорами аппаратные схемы голосования и реконфигурации. Все это уменьшает непроизво- 
дительные затраты времени, что создает предпосылки для ускорения решения задач. 
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